CDH|Sqoop安装及配置

sqoop介绍

• Sqoop：SQL-to-Hadoop
  连接传统关系型数据库和Hadoop的桥梁
  把关系型数据库的数据导入到Hadoop与其相关的系统(HBase和Hive)中
  把数据从Hadoop系统里抽取并导出到关系型数据库里
  利用MapReduce加快数据传输速度，批处理方式进行数据传输

  

• Sqoop1 & Sqoop2

两个不同版本，完全不兼容
版本号划分方式
Apache：1.4.x~ ，1.99.x~
Sqoop2比Sqoop1的改进
引入sqoop server，集中化管理Connector等
多种访问方式：CLI，Web UI，REST API
引入基于角色的安全机制

• sqoop 设计

  

• Sqoop 使用要点

  

准备条件

启动hadoop下的hdfs、yarn、historyserver基础服务。

解压

image.png

sqoop配置

• 修改配置文件

image.png

• 复制mysql连接jar包

cp /opt/sofewares/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /opt/cdh5.3.6/sqoop-1.4.5-cdh5.3.6/lib/


• 使用cloudera官方sqoop文档
  地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.5-cdh5.3.6/SqoopUserGuide.html#_example_invocations_10

• SQOOP HELP

  

• 查看mysql数据中有多少数据库

bin/sqoop list-databases \
--connect jdbc:mysql://hadoop-senior.beifeng.com:3306 \
--username root \
--password 123456 \